From Self to Other: Evaluating Demographic Perspective-Taking in LLM Hate Speech Annotation
从自我到他人：评估LLM仇恨言论标注的视角采择
🧭 LLM 视角采择与标注公平性评估
Universidade da Coruña
评估LLM模拟人口统计视角在仇恨言论标注中的人类一致性，发现替代提示表现最佳
📌 工作参考价值（4 点）
- 在需要模拟不同用户群体对内容主观判断的场景（如评论审核、风险内容检测）中，考虑使用「替代提示」（vicarious prompting），让模型预测其他群体的判断，可能比直接扮演角色更准确。
- 简单的最小化身份提示（如“你是一个黑人女性”）并不足以可靠地引发符合人类模式的群体间分歧；在实际系统里，如果需要模拟多样性视角，需要更精细的提示工程。
- 模拟视角的效果高度依赖模型选择，不同LLM的表现差异大；实际部署前应在目标群体数据上严格评估，不能假设默认能力。
- 借鉴这种多人口统计视角的评估范式，可以对推荐/生成内容的公平性和包容性进行自动化审查，但需谨慎对待模型对敏感群体的潜在偏见。